准确的睡眠阶段分类对于睡眠健康评估很重要。近年来，已经开发了几种基于深度学习和机器学习的睡眠阶段算法，并且在人类注释方面取得了表现。尽管性能提高，但最深入学习算法的局限性是其黑盒行为，它限制了它们在临床环境中的使用。在这里，我们提出了跨模式变压器，这是一种基于变压器的睡眠阶段分类的方法。我们的模型通过最先进的方法实现了竞争性能，并通过利用注意模块的可解释性方面消除了深度学习模型的黑盒行为。提出的跨模式变压器由一种新型的跨模式变压器编码器结构以及多尺度的一维卷积神经网络组成，用于自动表示学习。基于此设计的我们的睡眠阶段分类器能够以与最先进的方法相同或更好地达到睡眠阶段分类性能，以及可解释性，参数数量减少了四倍，并且比较培训时间减少了。到当前的最新。我们的代码可从https://github.com/jathurshan0330/cross-modal-transformer获得。
translated by 谷歌翻译
我们研究了使用经验风险最小化训练的机器学习模型中删除用户数据的问题。我们的重点是学习算法，这些算法返回经验风险最小化和近似符合符合流式传输缩写的删除请求的近似学习算法。利用Infintesimal Jacknife，我们开发了一种在线学习算法，既是计算和内存效率又有效的。与先前的记忆有效学习算法不同，我们针对的模型可以最大程度地减少非平滑正则化机构的目标，例如常用的$ \ ell_1 $，弹性网或核量规范惩罚。我们还提供与最先进的方法一致的概括，删除能力和学习保证。在各种基准数据集中，我们的算法在先验方法的运行时间上有所改善，同时保持相同的内存需求和测试准确性。最后，我们通过证明到目前为止引入的所有近似近似学习算法在问题设置中未能在常见的超参数调谐方法（例如交叉验证）中使用的所有近似近似学习算法来打开新的询问方向。
translated by 谷歌翻译
我们重新审视使用公共数据来改善差异私有（DP）模型培训的隐私/实用权折衷的问题。在这里，公共数据是指没有隐私问题的辅助数据集。我们考虑与私人培训数据相同的分发的公共数据。对于凸损失，我们表明镜子血清的变体提供了与模型的维度（$ p $）的人口风险保证。具体地，我们将镜像血液应用于由公共数据生成的丢失作为镜像映射，并使用私有（敏感）数据生成的丢失的DP梯度。为了获得维度独立性，我们需要$ g_q ^ 2 \ leq p $公共数据样本，其中$ g_q $是损失功能各向同性的量度。我们进一步表明，我们的算法具有天然的“噪音稳定性”属性：如果围绕当前迭代公共损失，请以$ V $的方向满足$ \ alpha_v $ -strong凸性，然后使用嘈杂的渐变而不是确切的渐变偏移我们的下一次迭代$ v $ v $比例为$ 1 / alpha_v $（与DP-SGD相比，换档是各向同性的）。在前作品中的类似结果必须使用预处理器矩阵形式的公共数据明确地学习几何图形。我们的方法也适用于非凸损失，因为它不依赖于凸起假设以确保DP保证。我们通过显示线性回归，深度学习基准数据集（Wikitext-2，Cifar-10和Emnist）以及联合学习（StackOverflow）来证明我们的算法的经验效果。我们表明，我们的算法不仅显着改善了传统的DP-SGD和DP-FedAVG，它没有访问公共数据，而且还可以改善DP-SGD和DP-FedAVG对已与公众预先培训的模型数据开始。
translated by 谷歌翻译